其他
OpenAI 重磅发布的GPT-4 Turbo with Vision，是编码的倒退
整理｜Tina
近日，OpenAI 宣布最新 GPT-4 Turbo with Vision 模型已经通过 OpenAI API 向开发人员开放。
该模型延续了 GPT-4 Turbo 系列 128,000 个 token 的窗口大小，以及截止至 2023 年 12 月的知识库，最大的革新之处在于其新增的视觉理解能力，可处理和分析多媒体输入信息。OpenAI 发言人表示，这些变化有助于简化开发人员的工作流程并打造更高效的应用程序，因为“过去，开发者需要调用不同的模型来处理文本和图像信息，但现在，只需一次 API 调用，该模型就可以分析图像并应用推理。”
现在大家可以通过文本格式 JSON 和函数调用来请求使用该模型的视觉识别和分析功能。函数调用会生成一个 JSON 代码片段，供开发人员在其连接的应用程序中自动执行操作，例如发送电子邮件、发布在线内容、进行购买等。
OpenAI 在其 API 页面上提醒道，在执行会影响现实世界操作之前，强烈建议内置用户确认流程。
OpenAI 开发者团队也分享了一些使用该模型的有趣用例，主打一个非常酷的实时屏幕交互效果。
例如，热门初创公司 Cognition，其“世界首位 AI 软件工程师 Devin”使用的就是 GPT-4 Turbo with Vision ，它利用了该模型的视觉能力来执行各种编码任务。
融入实际业务时，GPT-4 Vision 表现得也相当强悍。Healthify 分享了他们的使用感受，表示 GPT-4 T Vision 准确性远超现有水平，识别多种食物；集成简易，完成原型验证后，只需将 OpenAI API 添加到现有管道即可；开箱即用，微调简单，无需大量配置。另外，还能利用 OpenAI 词嵌入模型，成功解决如何匹配食物的难题。Healthify 团队需要将 GPT-4 返回的食物名称与自身系统中的食物名称进行匹配。技术副总裁 Abhijit Khasnis 评论道：“GPT 是一个独立的模型，拥有自己的食物名称字典。Healthify 也有自己的食物名称，我们一直在尝试解决匹配问题。当我们测试 OpenAI 词嵌入模型时，发现相似度匹配准确性极高！”
一些 Twitter 网友也纷纷尝鲜。
其中一位开发者表示，现在他通过使用 instructor_ex ，无需调用其他库，就能更可靠地从图像中提取数据，“从此告别 mode: :md_json 了”。
例如，我们可以轻松从这幅卖家图片中，提取到物品名称、价格、颜色信息。
还有一位以构建人工智能应用为生的程序员，尝试了下用 GPT-4 Vision 重新创建一个 Hacker News 的网页，他表示这是“将屏幕截图转换为应用程序的最快方法”。
完成这个功能的开发，他只用了 NextJS 14 + Supabase + GPT-4。看起来，GPT-4 Vision 确实极大地简化了前端开发。
从目前网友的一些测试来看，受 GPT-4 Vision 影响最大的就是前端开发人员了，那么该模型的整体编程能力是否上升了呢？
有些出乎意料的是，有测评表示 GPT-4 Vision 编程能力反而是越来越糟糕了。
Aider 是一家开发 AI 结对编程工具的公司，他们依靠代码编辑基准对 LLM 进行了定量评估：“在 aider 的代码基准测试套件上，其性能表现低于所有之前版本的 GPT-4 模型。”
对于每个练习，LLM 会尝试两次来解决每个问题。在首次尝试中，它将获得初始存根代码和编码任务的英文描述。如果测试全部通过，就表示完成了任务。如果有测试失败，aider 会向 LLM 发送失败的测试输出，并让它进行第二次尝试以完成任务。
GPT-4 Turbo with Vision 在这项基准测试中的得分仅为 62%，是现有 GPT-4 模型中得分最低的。其他模型的得分在 63-66% 之间时，这个最新的模型只是稍有退步，与 gpt-4-0613 相比差距并不明显。
此前 GPT-4 Turbo preview 模型因在编码时“偷懒”，受到了不少业界开发者的批评。它们经常省略所需的代码，而在注释中留下“在此处实现方法”之类的语句。在惰性测试中，GPT-4 Vision 显然是最“懒惰”的那个：只获得了 34% 的分数。
如果编程能力真的“倒退”了，那显然是一个糟糕的结果。
但也有人表示，将编程 / 开发这一严谨的学科贬称为“编码”才是一种更大的倒退。事实上，要开发出架构良好、易于维护且安全的软件，也不仅仅是写代码。
据 Tech Republic 报道，编写实际代码通常只占软件开发人员工作时间的一半以下，甚至在许多情况下，编码时间仅占 20%。这意味着即使像 GPT-4 这样的系统能够完美运行，它们也无法完全替代人类软件开发人员的工作。
另外，技术只是工具，无法替代人类的创造力和沟通能力。开发人员需要与客户会谈、了解他们的需求，并将复杂的问题分解成可解决的组件。这些工作需要丰富的经验和专业知识，并非简单的代码生成工具所能替代。
所以，不管怎么说，就算 GPT-4 Vision 能一键生成网页应用了，那也离替代人类开发者还远。
参考链接：
https://twitter.com/ramsri_goutham/status/1777938488454738374
https://openai.com/customer-stories/healthify
https://platform.openai.com/docs/models/gpt-4-turbo-and-gpt-4
https://aider.chat/2024/04/09/gpt-4-turbo.html
https://news.ycombinator.com/item?id=39985596
大模型应用挑战赛已拉开帷幕。现阶段，多数语言模型已完成 3 轮更新，大模型赛道入场券所剩无几。同时，2023 年超 200 款大模型产品问世，典型场景又有哪些产品动向？对于现阶段的文生图产品而言，四大维度能力究竟如何？以上问题的回答尽在《2023 年第 4 季度中国大模型季度监测报告》，欢迎大家扫码关注「AI 前线」公众号，回复「季度报告」领取。
AICon 全球人工智能开发与应用大会 暨 大模型应用生态展将于 5 月 17 日正式开幕，本次大会主题为「智能未来，探索 AI 无限可能」。如您感兴趣，可点击「阅读原文」查看更多详情。
今天是会议 9 折购票阶段，购票或咨询其他问题请联系票务同学：13269078023，或扫描上方二维码添加大会福利官，可领取福利资料包。
今日荐文
你也「在看」吗？👇